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基于 Lévy 分 布 的 柔软 自 适应 演化 采样 算法 
HORS. KAW, Ao fe 


(江南 大 学 物 联 网 工程 学 院 , 江苏 无 锡 214122) 


jj 要 : 已 经 有 相关 工作 将 演化 思想 引入 采样 算法 中 ， 并 结合 Lévy 分 布 提出 了 自 适 应 的 采样 算法 。 针 对 Lévy 分 布 的 
参数 设置 和 “ 厚 尾 ” 特 性 的 关系 进行 了 研究 ， 改 进 了 基于 Lévy 分 布 的 演化 采样 算法 ， 通 过 设置 该 分 布 的 参数 a 值 为 
1.0，1.3，1.7，2.0， 分 别 对 应 四 种 转移 概率 分 布 ， 从 而 增加 了 生成 的 候选 样本 的 多 样 性 。 理 论 分 析 和 实验 表明 ， 改 进 
算法 在 收敛 速率 和 精度 上 优 于 基于 高 斯 分 布 、 柯 西 分 布 ,对 称 指数 分 布 的 演化 采样 算法 和 其 他 自 适 应 的 演化 采样 算法 。 
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Evolutionary sampling approach with soft adaptive Lévy probability distribution 
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x m Abstract: Some research has introduced evolution idea into sampling algorithms, and related algorithms combined with adaptive 
Lévy distribution are proposed. This paper improves the evolutionary sampling algorithm based on Lévy distribution. By setting 
the parameter a of this distribution to 1.0, 1.3, 1.7, 2.0, corresponding to the four transition probability distributions, the diversity 
of the generated candidate samples is increased. Theoretical analysis and experimental results show that the proposed algorithm 
is superior to the evolutionary sampling algorithm based on Gaussian distribution, Cauchy distribution, symmetrical exponential 
distribution and other adaptive evolutionary sampling algorithms in terms of convergence rate and accuracy. 
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Carlo, MCMC) 中 建立 了 生物 进化 和 采样 方法 之 间 的 联系 ， 通 过 
转移 概率 对 样本 进行 更 新 ， 马 尔 可 夫 链 收敛 后 得 到 的 样本 就 符 
一 采样 是 机 器 学 习 等 相关 领域 中 的 重要 问题 ， 对 于 某 些 概率 合 目标 概率 分 布 。Metropolis-hasting 算法 (MHD) 外 和 Gibbs 算法 
F 模型 ， 在 精确 推断 不 可 行 的 情况 下 ， 采 用 基于 数值 采样 的 近似 ”名 是 基于 MCMC 的 两 个 采样 算法 , MH 算法 改进 了 马尔 可 夫 链 
推断 方法 可 以 有 效 地 解决 问题 。 虽 然 采 样 并 不 是 一 个 崭新 的 研 ”状态 转移 过 程 中 接受 率 可 能 偏 小 的 问题 ， 而 Gibbs 算法 则 是 针 
究 问题 ， 但 是 在 大 数据 的 背景 下 ， 仍 然 需要 进一步 研究 该 问题 。 对 多 维 采 样 而 提出 。 有 人 将 基于 MCMC 的 采样 算法 应 用 到 K- 
来 满足 各 种 应 用 场景 的 需求 由 。 means 初始 种 子 点 的 选择 问题 上 中 ,取得 了 良好 的 效果 。 近 期 ， 
在 给 定 概 率 分 布 的 前 提 下 ， 寻 找 一 种 有 效 的 采样 策略 获取 谢 ， 孙 等 人 中 提出 的 演化 采样 算法 (Evolutionary Sampling, ES) 
符合 该 概率 分 布 的 样本 问题 已 经 在 学 术 界 得 到 长 期 而 广泛 的 研 。” 结合 拒绝 采样 和 进化 优化 并 继承 了 二 者 的 优点 。 除 此 之 外 ， 针 
究 。 线 性 同 余 法 站 可 以 产生 满足 均匀 分 布 的 样本 ， 而 反 变 化 采 ”对 不 同 的 应 用 场景 ， 还 有 很 多 采样 算法 被 提出 5。 

样 法 中 基于 均匀 分 布 可 以 产生 满足 其 他 分 布 的 样本 ,但 由 于 线 Lévy 分 布 在 进化 优化 领域 得 到 了 充分 的 研究 [3 时， 胡 !1 
生 同 余 法 产生 的 下 一 个 随机 数 完全 依赖 于 当前 随机 数 的 大 小 ， 将 Lévy 分 布 作为 可 直接 采样 的 概率 分 布 引入 演化 采样 算法 中 ， 
当 随 机 数 序 列 足 够 大 的 时 候 ， 可 能 出 现 重 复 子 序列 。 拒 绝 采 样 。” 取得 了 比 采 样 分 布 为 高 斯 分 布 ， 柯 西 分 布 ， 对 称 指数 分 布 更 高 
方法 利用 可 直接 采样 的 概率 分 布 通过 拒绝 某 些 样本 实现 对 复杂 的 精度 和 更 快 的 收敛 速率 , 但 是 胡 只 考虑 了 Lévy 分 布 参数 a 
目标 概率 分 布 的 采样 ， 但 是 由 于 寻找 合适 的 可 直接 采样 的 概率 ”在 特殊 情形 下 的 应 用 ， 没 有 考虑 一 般 的 情况 。 本 研究 通过 综合 
分 布 和 分 布 常数 比较 困难 ， 可 能 导致 该 采样 方法 拒绝 率 很 高 。 考虑 特殊 和 一 般 情 况 ， 提 出 基于 Lévy 分 布 的 柔软 自 适 应 演化 
重要 性 采样 是 另外 一 种 利用 可 直接 采样 的 概率 分 布 进 行 复杂 采样 算法 ， 理 论 和 实验 均 证 明了 该 算法 在 精度 和 收敛 速率 上 优 
布 采 样 的 方法 。 马 尔 可 夫 链 蒙特 卡 洛 方法 (Markov chain Monte ”于 胡 的 工作 。 
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1 ”演化 采样 算法 和 Lévy 分 布 


1.1 采样 理论 

机 器 学 习 中 的 概率 模型 要 解决 的 基本 问题 之 一 是 关于 一 个 
概率 分 布 p(z) 寻找 某 个 函数 f(z) 的 期 望 ， 在 连续 变量 的 情形 
下 ， 也 就 是 计算 期 望 


g f1- [f (2p(2)de (1) 


在 离散 变量 的 情形 下 ， 积 分 被 替换 为 求 和 。 在 使 用 解析 方 
法 计算 期 望 比较 复杂 的 情况 下 ， 可 以 使 用 采样 的 方法 来 计算 。 
采样 方法 的 一 般 思 想 是 从 概率 分 布 p(z) 中 独立 抽取 一 组 变量 
z(1) ， 其 中 1=1,2,.…,L， 这 使 得 期 望 可 以 通过 有 限 和 的 方式 计 
算 ， 即 


Pelr Q) 


只 要 满足 样本 zU) 是 从 概率 分 布 p(z) 中 抽取 ， 那 么 
[f= ELf] ， 但 如 果 要 满足 f=E[f] ， 需 要 准确 地 获取 满足 
P) 概率 分 布 的 样本 集 zU) ， 因 此 如 何 准确 地 获取 满足 某 个 给 
定 分 布 的 样本 是 一 个 重要 问题 。 
1.2 演化 采样 方法 

演化 采样 算法 是 谢 ， 孙 等 人 BJ 受 进化 计算 启发 提出 的 一 种 
新 的 采样 方法 ， 适 用 于 解决 概率 框架 下 的 机 器 学 习 问 题 。 支 持 
样本 模型 (support sample model, SSM) 是 ES 中 的 一 种 计算 模型 ， 
目的 是 近似 样本 数据 的 概率 密度 分 布 ， 因 此 演化 采样 方法 的 实 
岗 需要 寻找 SSM 的 最 优 参数 。SSM 利用 一 组 高 斯 密度 函数 的 
加 权 组 合 来 表示 样本 集 的 概率 密度 分 布 ， 定 义 为 


E 


P(x) = 2 aK, œ- x) 6) 


x, 是 样本 数据 ,其 中 i=1,2,.…,N ,N 是 样本 的 数量 , or 是 权 值 系 
数 , 值 为 1/N ,高 斯 核 函 数 被 定义 为 


pa eh 
Kee enel B (4) 
Jp HEZEA h 是 带宽 参数 。 因此 ， ES 的 目标 在 概率 杠 
架 下 可 以 表示 为 
X. =arg min||PO — C], ) 6) 


X; 是 所 有 可 能 支持 样本 的 最 优 组 合 ， PC) LC) 分 别 表 
示 SSM 和 目标 模型 的 概率 分 布 ， 作 , 表示 全 变量 距离 。 上 式 
意味 着 最 优 的 支持 样本 集 可 以 在 演化 过 程 中 通过 使 SSM 和 目 
标 模 型 之 间 的 距离 最 小 化 得 到 。ES 算法 根据 拒绝 采样 策略 的 
核心 思想 ， 为 每 个 支持 样本 设计 相似 的 采样 程序 。 对 每 个 采样 
链 ， 让 生成 的 候选 样本 以 一 定 的 概率 被 接收 成 为 新 的 样本 。 令 
A (x, y) 表示 在 第 k 个 拒绝 采样 步骤 中 ， 从 样本 x 生成 新 的 候 
选 样本 Y 的 概率 ，w Go y) 表示 接收 数据 》 作为 新 样本 的 概率 ， 
则 如 果 当 前 支持 样本 数据 是 x ， 在 第 个 拒绝 采样 步骤 之 后 ， 
接收 样本 数据 》 作为 新 样本 的 概率 是 A" (x, y) x a^ (x, y) 。 等 式 (5) 


的 求解 依据 下 述 表 达 式 
P q (x, Y) X aug Qo y), XE y 
MC JEDU- ou Gs Fats x= y (6) 
a* (x, y) -maxi Huari al (7) 
z(y)x p (x) 


其 中 : q'Gsy) 是 从 x 生成 新 的 候选 样本 y 的 概率 ， 满 足 
g(x,y) = x); ES P a Qo y) 的 定义 如 下 : 


|x-y 


doges ^ (8) 
这 是 一 个 对 称 指数 分 布 ，P 是 搜索 规模 因子 ， 满 足 
P 7 f ^ 2 lx, x 


值 在 演化 过 程 中 从 20 到 1 


，MN, 表示 支持 样本 集中 的 样本 数量 ,ph 的 


线性 递减 0 Ug. 


a 6s) o min EOD) 满 P 
a(x) 


z(x)A (x, y) = z(y)A Q3) ， 不 同 于 传统 的 拒绝 采样 策略 ， 
we 人 是 由 谢 ， 孙 等 人 首先 提出 并 应 用 在 演化 采样 算法 中 的 
拒绝 选择 法 则 ， 是 ES 算法 的 第 二 次 拒绝 选择 操作 ， 能 够 确保 
P(X) 对 z GO 的 近似 效果 ， 而 p*(x) 正 是 上 文 所 定义 的 支持 样 
本 模型 。 
1.3 Lévy 分 布 

Lévy 分 布 是 由 PLevy 在 1937 年 提出 的 一 种 具有 无 限 二 
阶 矩 的 概率 分 布 ， 其 形式 如 下 : 


致 平稳 条 件 ， 即 


1 po oe 
L,() => | e” cos(gy)dg,y eR (9) 
T 


当 y=0 时 , 该 分 布 满 足 对 称 性 ，y(> 0) 是 缩放 因子 ，c 决 
定 该 分 布 的 形状 , 满足 0<a<2。 


图 1 a DAX 1.0,1.3,1.7,2.0 时 Lévy 分 布 和 对 称 指数 分 布 的 比较 ， 
纵 坐 标 做 了 log 变换 


式 (9) 在 一 般 情 况 下 的 积分 结果 是 未 知 的 ,但 是 在 两 个 特殊 
情况 下 ， 可 以 知道 对 应 的 积分 结果 。 a =1 时 ， 对 应 柯 西 分 布 ， 
a 一 2 时 ， 该 分 布 变 为 高 斯 分 布 。 cx 控制 分 布 的 形状 ， 特 别 是 
分 布 的 “ 厚 尾 "区域 ， cx 越 小 ,“ 厚 尾 " 越 长 。 图 1 显示 了 不 同 w 
值 对 应 的 Lévy 分 布 和 对 称 指数 分 布 的 比较 结果 。 

1.4 转移 概率 分 布 比较 
转移 概率 的 搜索 空间 是 影响 生成 样本 质量 的 关键 因素 ， 


[d 
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过 对 比 高 斯 分 布 ， 对 称 指数 分 布 ， Lévy 分 布 ， 从 均 方位 移 的 
角度 来 分 析 三 种 分 布 搜索 空间 的 大 小 。 父 样本 和 子 样本 之 间 的 
关系 可 表示 为 x =x o Bg. 其 中 x' 表示 第 1 代 的 样本 ， m 
是 给 定 概率 分 布 产生 的 随机 变量 ，B 是 一 个 常数 。 用 AQ) 表示 
样本 x 在 经 过 +t 代 的 更 新 后 产生 的 变化 量 ， 则 


t-l 
AD=x -x 28» mn 。 对 于 高 斯 分 布 ， 九 ~ NO0D ， 则 
k=0 


AO) ~ NO, f?) , 均 方位 移 为 (A(D)”) = BVt x f, ob C) 


类 似 地 ， 对 于 对 称 指数 分 布 可 以 得 到 
JO!) = Bu? -t oct, 不 失 一 般 性 ， A ycsl, L,-L,, W 


Lévy 分 布 可 以 被 近似 表示 9 为 
Ly) ec y "ye (10) 


示 期 望 。 


可 以 得 到 


o?) - Xena (0.2) ai) 


R2 ”基于 高 斯 分 布 ， 柯 西 分 布 和 对 称 指 数 分 布 从 父 代 产生 的 子 代 的 
分 布 情况 对 比 


柯 西 分 布 是 Lévy 分 布 在 w=1 时 的 对 应 分 布 。 从 上 述 分 析 
可 以 看 出 ， 对 一 个 特定 样本 产生 相同 的 变化 量 ， 高 斯 分 布 需要 
时 间 最 长 , 对称 指数 分 布 次 之 , 而 Lévy 分 布 能 够 在 短 时 间 产 生 
大 的 变化 量 。 令 1=1 ，B=1 ， 由 x=x +B” 得 
x" =x" +77" ,i=0,1,2，i 的 值 分 别 代 表 高 斯 分 布 ， 对 称 指数 分 
布 和 柯 西 分 布 ,nw" 是 分 别 由 三 者 生成 的 随机 变量 。 从 图 2 可 以 
看 出 ， 柯 西 分 布 产生 的 变量 比 高 斯 分 布 和 对 称 指数 分 布 能 够 覆 
盖 一 个 更 宽 的 范围 。 


2 ÆT Lévy 分 布 的 柔软 自 适应 演化 采样 
从 上 述 分 析 可 以 看 出 ,高 斯 分 布 可 以 产生 小 范围 的 变化 量 ， 


Zra 控制 Lévy 分 布 的 形状 ,特别 是 分 布 的 “ 厚 尾 "区域 ， 参 数 
a 越 小 ,“ 厚 尾 ” 区 域 越 长 . 较 小 的 & 可 以 产生 更 大 的 搜索 空间 ， 
较 大 的 & 可 以 实现 更 好 的 局 部 搜索 。 通 过 添加 两 个 值 分 别 为 
1.3 和 1.7 的 一 般 Lévy 分 布 ， 增 加 另外 两 个 候选 样本 ， 使 得 候 
选 样 本 的 选择 不 会 局 限于 柯 西 分 布 和 高 斯 分 布 ， 从 而 增加 了 选 
择 的 多 样 性 。 这 是 一 种 更 加 柔软 的 自 适 应 选择 方法 ， 算 法 具体 
过 程 如 下 : 

a) 设 置 样 本 个 数 N, 和 最 大 办 代 次 数 及。 ， 初 始 样本 集 为 
X? -(X,,X2,- XS), ， 初 始 化 迭代 次 数 k=0 ; 

DIT X7 中 的 每 个 样本 X* ， 执 行 步骤 3~6 ; 

co) 利用 Lévy 分 布 作为 概率 转移 函数 4 Gy) ,对 应 不 同 & 
值 生 成 四 个 候选 样本 vp. KB j=1,2,3,4 ， 分 别 对 应 
à =1.0,1,3,1.7,2.0 ， 分 别 执行 步骤 d)~1; 

d) Æ mk [0,1] Pg fi — ^P 35 1 B6 NL R S 如果 


E 
nem ZOD], pt yf ste, BE, 


执行 步骤 有; 

6) 根据 等 式 (7) 计算 w Qi. yr) s, ， 生 成 [0 内 的 另 一 个 均 
匀 随 机 数 R ， 如 果 R <a (4 ,六 ) Zy ， 和 否则 拒绝 ; 

fü yr WORSE, WA xr Sy: ye x Tx: 

是 令 k=k+1，, 分 别 更 新 样本 集 为 X5 = UG Xs XN, 
计算 对 应 标准 偏差 7 ， 其 中 j=1,2,3,4 ， 分 别 对 应 
æ =1.0,1,3,1.7,2.0 ， 选 择 最 小 的 JI 对 应 的 样本 集 XE 为 选择 的 
样本 集 ; 

如 果 连 续 两 个 样本 集 之 间 差 异 很 小 或 者 达到 最 大 迭代 次 
数 KK,,,. ， 结 束 程序 ， 否 则 转 步 又 b); 

i) 输出 最 终 样本 集 X* ， 结 束 程序 。 

为 了 对 算法 的 时 空 复杂 度 进行 分 析 ， 对 算法 的 数学 符号 进 
行 了 简化 。 假 设 样本 个 数 为 N， 最 大 和 迭代 次 数 为 多， 标准 偏差 
为 J。 对 每 个 样本 进行 两 次 拒绝 选择 操作 需要 常数 时 间 ， 
和 迭代 过 程 需要 进行 AN 次 拒绝 选择 操作 ， 同 时 可 以 在 常数 时 间 
选择 最 小 偏差 对 应 的 样本 集 ， 故 每 个 迭代 过 程 的 时 间 复 杂 度 
为 ON)， 总 的 时 间 复杂 度 为 O(K*N)， 算 法 的 空间 占用 与 样本 
个 数 N 呈 线 性 增长 ， 故 空间 复杂 度 为 O(N)。 考 虑 到 算法 的 
行 性 ， 通 过 并 行 编程 加 速 采样 也 是 下 一 步 要 进行 的 工作 。 


3 ”实验 和 结果 分 析 


3.1 实验 设置 
“拇指 法 则 ”是 由 Deheuvels09 提 出 ,SilvermanB2o 推 广 的 可 用 
于 生成 高 斯 核 函数 中 近似 带宽 的 有 效 方法 .Silverman 拇指 法 则 


每 个 


有 助 于 通过 局 部 搜索 提高 精度 ， 柯 西 分 布 可 以 产生 大 范围 的 变 
化 量 ， 有 助 于 通过 全 局 搜索 跳出 局 部 最 优 。 胡 的 工作 受 X 
Yaol1sl 等 人 的 启发 , 通过 设 定 Lévy 分 布 中 的 & 值 分 别 为 1.0 和 
2.0， 为 父 代 样本 产生 两 个 候选 样本 ,选择 最 好 的 样本 作为 下 一 
代 样 本 。Lévy 分 布 在 g=1.0 和 &=2.0 时 的 分 布 ， 实 际 上 分 别 
对 应 了 柯 西 分 布 和 高 斯 分 布 两 个 极端 分 布 。 在 上 文中 提 到 ， 参 


表达 式 如 
h- x) "e (2) 


其 中 : N 是 样本 数量 ，6 是 样本 集 的 平均 绝对 值 偏差 。 为 
胡 05 的 工作 进行 对 比 ， 在 实验 中 使 用 相同 的 方法 进行 带宽 参数 
的 选择 。 为 了 验证 所 提 算 法 的 改进 效果 ， 做 了 5 个 ES 算法 的 
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变种 在 三 类 测 
种 包括 : 采样 


试 概率 函数 上 的 实验 ， 实 验 中 用 到 的 ES 算法 变 
分 布 函数 为 柯 西 分 布 的 演化 采样 


算法 (ES with 


Cauchy probability distribution, ES-CPD); 采样 分 布 函数 为 对 称 


指数 分 布 的 演化 采样 算法 (ES with symmetrical 


exponential 


probability distribution, ES-SEPD); 采样 分 布 函数 为 高 


演化 采样 
GPD)， 采 样 分 布 为 


斯 分 布 的 


算法 (ES with Gaussian probability distribution，ES- 
两 点 自 适 应 Lévy 分 布 的 演化 采样 


算法 (ES 


with two points adaptive Lévy probability distribution, ES-HARD- 


ALPD); 采样 


适应 Lévy 分 布 的 演化 采 档 


算法 (ES 


with two points adaptive Lévy probability distribution, ES-SOFT- 


ALPD); 选择 的 三 类 测试 函数 如 表 1 所 列 ， 其 9 


Jb mA) 是 具有 轻微 局 部 最 优 的 函数 ， 有 五 (2 
最 优 的 函数 。 


HJE m(x) 单 


是 具有 明显 后 


ER 


= 
FJ 


vA 


为 了 比较 5 ES 算法 ， 对 每 个 测试 函数 执行 30 次 采样 ， 


初始 Ns 个 样本 通过 标准 正 态 分 布 产生 。 


标准 


偏差 J 的 定义 为 


WS ore q060 780)? t pO 表示 标准 化 输出 ，x(9) 表示 
co 
OO ”目标 分 布 ，J 用 来 衡量 所 得 到 的 样本 集 和 目标 概率 分 布 样本 集 
N 的 接近 程度 ， 该 值 越 小 ， 表 示 精 度 越 高 。 定 义 标 准 化 因子 
- 1 : 
O ,y-ly 70). ARNEE, s y 收 伍 到 一 
er N, GEX, pG;) 
© 个 稳定 的 值 时 ，ES 算法 即 收 敛 得 到 一 个 最 优 的 稳定 解 。 此 外 ， 
在 计算 J 和 7 的 时 候 ， 从 表 1 所 示 变 量 的 取 值 范围 中 均匀 选取 
CO 1000 个 样本 点 。 
CN 
ie 表 1 测试 函数 集 
p z(x) Range(xX) D 
we 
N 2 1 =(x+3-3h;)?/2/h; 
Q awst- Ee Dag e Cy (520) 1 
c 8 2x i-0 Jh 
rr my (x)= (rx 2x? )e * (-5,5) 1 
1 (162 
mae com 02 (—5,20) 1 
3.2 ”实验 结果 
为 了 比较 改进 算法 和 其 他 算法 之 间 的 精度 差异 ， 基 于 最 后 
一 次 迭代 执行 完成 后 的 7 值 做 了 ft 检验， 显著 性 水 平 设 为 0.05， 
自由 度 为 $8。 检 验 结果 如 表 2 所 示 ， 其 中 “+” 表 示 存 在 显著 
性 差异 ,“-” 表 示 不 存在 显著 性 差异 。 最 后 一 次 迭代 执行 完成 
后 五 个 算法 各 自得 到 的 了 和 7 的 平均 值 分 别 如 表 2 和 3 所 示 。 
从 表 2 可 以 看 出 ， 所 改进 算法 和 其 他 对 比 算法 在 精度 上 存在 显 
性 差异 ， 并 且 在 三 类 测试 函数 上 的 y 值 小 于 其 他 算法 ， 说 明 
该 算法 精度 高 于 其 他 算法 。 从 表 3 可 以 看 出 所 提 算 法 在 三 类 测 
试 函数 上 最 后 一 次 迭代 执行 完成 后 7 值 小 于 1， 说 明 该 算法 收 
Mo 
整个 进化 过 程 的 具体 实验 结果 如 图 3 所 示 ， 对 于 每 一 类 函 
数 ， 依 次 显示 J ，y7Y ， 进 化 过 程 中 接受 样本 数量 和 ES-SOFT- 


ALPD 算法 中 不 同 a 值 对 应 的 接受 样 
3 可 以 看 上 


Tü 
作 


张 海 鹏 ， 


inaX iv 合 作 iH- 


Ch PED 
EG RARE Few 


本 数量 。 对 于 


度 上 接近 


也 三 个 算法 。ES-GPD 算法 利用 高 斯 函 


为 概率 转移 


有 最 小 的 搜索 范围 ， 整 


慢 
时 
单 
但 


间 才 收敛 到 柱 


Dr 
本 的 


峰 函 数 ,从 收敛 


始 接受 大 量 的 候选 样本 ， 但 是 经 过 很 
最 优 状 态 。 而 ES-CPD 算法 , HF zn G) 是 
可 以 看 出 ,在 短 时 间 内 可 以 4 


是 由 于 柯 西 分 布 的 搜索 步 长 较 长 ， 候 选 样本 成 功 ] 


并 
太 


WN’ 


EK 


大 


不 多 ， 使 得 在 演 


化 


过 程 中 接近 最 优 状 态 时 ， 


在 标准 1 


uz 图 


尔 指 数 函数 的 参数 在 一 定 范围 内 进行 线 


到 小 逐渐 变化 ， 


在 收敛 和 精度 上 均 优 


中 


可 以 看 到 这 一 现象 。 ES-SEPD 算法 


生 调节 ， 使 搜索 范 硬 


保 


证 演化 算法 实现 从 全 


ALPD 表现 的 最 好 。 


索 , 


接收 候选 样 


在 演化 初 期 ， 利用 柯 


分 布 进行 大 范围 


本 数量 较 少 ， 


Yu 


的 
算 
比 


分 布 ， 使 得 搜索 范 上 上 


中 


上 比 ES-SOFT-ALPD 略 差 。 为 了 进 一 
SOFT-ALPD 算法 


中 期 利用 


YU, [E] 


其 


尽 可 能 多 的 更 加 优秀 的 候选 村 


收敛 的 同时 ， 


-| 
算法 


m(x), MBI 
H, ES-SOFT-ALPD 算法 和 ES-HARD-ALPD 算法 在 
高 于 其 
曼 ， 从 演化 的 初 其 


" 


体 上 收敛 速度 较 
长 的 


p 


决 速 收敛 ， 

接受 的 数量 
可 能 跳 过 最 优 状 
通过 对 


从 


局 搜索 到 局 部 搜索 ， 
于 ES-GPD 算法 。 从 整体 来 看 , ES-SOFT- 


搜 


Lévy 分 布 逐步 减 小 搜索 
姑 ， 随 着 演化 的 进行 ，ES-SOFT-ALPD 使 用 高 斯 分 布 在 更 小 
进行 搜索 ， 接 受 
法 精度 ， 所 以 ES-SOFT-ALPD 在 保证 
岂 算 法 更 高 的 精度 。 


ER, 提高 
能 够 得 到 


ES-HARD-ALPD 在 演化 过 程 中 使 用 Lévy 分 布 的 两 个 极限 


FE 


在 最 大 和 最 小 之 


闻 切 换 ， 忽 略 了 进化 过 程 


间 的 搜索 范围 


PREH, MAE 


， 从 而 影响 到 优秀 候选 样本 的 接受 ， 故 在 精度 
步 研究 不 同 a 值 在 ES- 
a 值 对 应 的 样本 接受 数量 


图 中 可 以 看 出 , 对 于 单 峰 函数 五 (90 , 不同 a 值 对 应 的 分 布 均 在 
整个 演化 采样 过 程 中 被 用 到 。 

表 2 最 后 一 次 迭代 完成 后 7 的 值 

ES-HARD- ES-SOFT- 
函数 ES-GPD ES-SEPD ES-CPD 
ALPD ALPD 

m(x) 16.5829(2)15.1066(4)14.4624(*) — 8.6283(*) 8.2348 
m(x) 5.7115(+) 6.2795(+) 7.1493) 4.0108 3.0300 
m3 (x) 14.7393(+) 2.1490) 2.0347(+) 1.5830) 1.2783 

表 3 a VERENA Y 的 值 


函数 ES-GPD ES-SEPD ES-CPD ES-HARD-ALPD ES-SOFT-ALPD 


7,0) 12115 11070 1.0341 0.7978 0.8039 

m(x) 0.5296 0.4459 — 0.4058 0.4982 0.5604 

74(X) 0.0646 0.4599 0.5078 0.5359 0.5769 
mA) 是 具有 轻微 局 部 最 优 的 函数 ， 从 图 3 可 以 看 出 ，ES- 


CPD 算法 和 ES-SEPD 算法 产生 的 效果 类 似 ， 

ALPD 算法 和 ES-HARD-ALPD 算法 在 精度 上 更 
SOFT-ALPD 算法 进 
有 轻微 的 局 
于 跳出 局 部 最 优 , 产生 好 的 近似 效果 。ES-SEPD 对 
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H 
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步 提高 


但 ES-SOFT- 
高 ， 同 时 ES- 
了 ES-HARD-ALPD 算法 的 精度 。 


Tm (x) i 
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] 题 需要 对 参数 进 和 


故 从 收敛 册 


于 不 同 
了 线性 调整 ， 其 搜索 范围 可 能 会 大 于 柯 西 


中 可 以 看 到 ES-SEPD 具有 最 快 的 收敛 


但 是 


于 演化 初 


期 成 功 接受 的 样本 数量 并 不 多 ， 故 在 精 


的 搜索 有 
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LK. 样本 接受 数量 
成 功 接受 的 样本 数量 略 少 于 
期 比 ES-HARD-ALPD 多 ， 因 此 在 收敛 速度 相似 的 前 


化 初 
是 在 中 后 


多 


表明 , ES- 


SOFT-ALPD 算法 虽然 在 演 


F ES-HARD-ALPD 算法 ， 但 


提 下 ， 精 度 上 高 于 ES-HARD-ALPD 算法 。 同 时 从 不 同 oc 值 对 


应 的 样本 : 


接受 数量 加 
布 发 挥 在 候选 样本 选择 时 的 作用 ， 这 有 助 于 


中 看 出 ， 在 演化 过 程 初期 ， 


主要 是 柯 西 分 
快速 收敛 到 最 优 样 
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张 海 胸 ， 等 : 基于 工 


在 演化 的 中 后 
, 这 个 过 程 中 w=1.3 和 
发 挥 了 


[4 


期 ， 主 要 利用 高 
=1.7 对 应 的 分 布 同村 
重要 作用 。 演 化 初始 阶段 ， 初 始 样本 集 和 最 优 样本 集 


斯 分 布 逐 渐 提 高 样 
lL 在 样本 选择 


的 全 变量 距离 较 远 ， 柯 西 分 布 利用 一 个 大 范围 的 搜索 ， 有 助 于 
跳出 局 部 最 优 ， 随 着 演化 过 程 的 进行 ， 全 变量 距离 也 在 缩短 ， 


此 


时 ， 通过 高 


斯 分 布 进行 小 范 目 


目 搜 索 ， 提 高 样本 精度 。 
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也 可 以 产 4 


移 函 数 可 以 


SOFT-ALP 


E 较 好 的 近似 效果 ， 
使 演化 采样 算法 跳出 局 
算法 ，ES-HARDALPD 


D 


SEPD 算法 


能 够 产生 更 大 搜索 范 
部 最 


在 精度 上 远 远 高 于 ES-GPD 算法 ,ES-GPD 由 


Es B ERE FE 
优 。 从 整体 上 来 看 ，ES- 
算法 ，ES-CPD 算法 和 ES- 
于 采用 


斯 分 布 进行 小 范 


Fi 
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中 看 出 ， 虽 


然 在 整个 进化 过 


样本 数量 


ES-HARD- 


ES-SEPD 和 ES-CPD 算法 ， 但 是 
SOFTALPD 进一步 提 
本 接受 数量 


对 应 的 样 
m(x), pu 


优 的 函数 五 (9 类 似 ， 
布 在 候选 样本 选择 过 
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不 低 于 其 


的 搜索 ， 容 易 陷 入 局 


他 算法 ,但 ES-GPD 


部 最 优 ， 故 从 样本 接 
寸 程 中 ES-GPD 成 功 接受 的 
有 最 差 的 精度 表现 。 


ALPD 综合 利 


高 斯 分 布 和 柯 西 分 布 ,在 精 


度 上 优 于 


于 更 多 样 的 x 值 选择 ，ES- 


L= 


高 了 ES-HARDALP 的 精度 。 


KF æ 值 
有 明显 局 部 最 优 的 函数 


图 说 明 对 于 


种 对 应 分 布 在 演化 过 程 


发 挥 的 作用 和 轻微 局 部 最 


H- 
程 中 的 意义 。 


结束 语 


本 文 提 出 了 一 种 更 加 柔软 的 自 适 


次 验证 了 w =1.3 和 w =1.7 对 应 的 分 


应 演化 采样 算法 ， 理 论 分 


类 测试 函数 上 的 实验 结果 对 比 


析 和 实验 
柯 西 分 布 ， 对 称 指数 分 布 的 演化 采样 算法 
算法 ,但 是 没有 考虑 0< ac <1.0 的 情况 ,原因 是 在 此 
数 的 范围 过 大 。 此 夕 
适应 方案 ， 因 此 连续 形式 的 自 适 
够 提高 演化 采样 算法 的 收敛 速度 和 
精度 的 采样 分 布 也 是 下 一 步 将 要 进行 的 重要 工作 。 


问题 
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分 布 产生 的 随机 


(0) 样 本 接受 数量 图 


(dj 不 同 c 值 对 应 的 样本 接受 数量 图 


结果 均 证 


明了 在 精度 和 收敛 速度 上 优 于 基于 


斯 分 布 ， 


IR] 


和 其 他 自 适 应 演化 采 
XR] Lévy 


， 采 用 的 是 离散 形式 的 自 


。 最 后 ， 研 究 新 型 的 能 
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